Jeg prøver å få RabbitMQ med selleri og Django på en EC2-forekomst for å gjøre noen ganske grunnleggende bakgrunnsbehandling. Jeg kjører rabbitmq-server 2.5.0 på en stor EC2-forekomst. Jeg lastet ned og installerte testklienten i henhold til instruksjonene her (helt nederst på siden). Jeg har bare latt testskriptet gå og får forventet produksjon: gjenvinningsfrekvens: 2350 msg / s, min / avg / max latency: 588078478/588352905/588588968 mikrosekunder gjenvinningsfrekvens: 1844 msg / s, min / avg / max latency: 588589350/588845737/589195341 mikrosekunder gjenvinningsfrekvens: 1562 msg / s, min / avg / max latency: 589182735/589571192/589959071 microseconds gjenvinningsfrekvens: 2080 msg / s, min / avg / max latency: 589959557/590284302/590679611 mikrosekunder Problemet er at det bruker utrolig mye CPU: PID-BRUKER PR NI VIRT RES SHR S% CPU% MEM TID + KOMMANDO 668 kaninmq 20 0 618m 506m 2340 S 166 6,8 2: 31,53 bjelke.smp 1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java Jeg testet på en mikroforekomst tidligere, og den brukte fullstendig alle ressurser på forekomsten. Er dette å forvente? Gjør jeg noe galt? Takk. Redigere: Den virkelige grunnen til dette innlegget var at celerybeat så ut til å gå greit en stund og plutselig forbruker alle ressurser på systemet. Jeg installerte Rabbitmq-styringsverktøyene og har undersøkt hvordan køene blir opprettet fra selleri og fra Rabbitmq-testserien. Det ser ut til at selleri er foreldreløse i disse køene, og at de ikke forsvinner. Her er køen som genereres av testpakken. En kø opprettes og alle meldingene går inn i den og kommer ut: Celerybeat oppretter en ny kø for hver gang den kjører oppgaven: Den setter parameteren for automatisk sletting til sant, men jeg er ikke helt sikker på når disse køene blir slettet. De ser ut til å bare sakte bygge opp og spise ressurser. Er det noen som har en idé? Takk.
2021-01-29 08:18:00
Ok, jeg skjønte det.
Her er den relevante dokumentasjonen:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Gamle resultater blir ikke renset automatisk, så du må sørge for å konsumere resultatene, ellers vil antall køer til slutt gå ut av kontroll. Hvis du kjører RabbitMQ 2.1.1 eller høyere, kan du dra nytte av argumentet x-expires til køer, som vil utløpe køer etter en viss tidsgrense etter at de ikke er brukt. Køutløpet kan innstilles (i sekunder) av innstillingen CELERY_AMQP_TASK_RESULT_EXPIRES (ikke aktivert som standard).
|
For å legge til Eric Conners løsning på sitt eget problem, heter det på http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices:
Ignorer resultatene du ikke vil ha
Hvis du ikke bryr deg om resultatene av en oppgave, må du huske å angi alternativet ignore_result, da lagring av resultater kaster bort tid og ressurser.
@ app.task (ignore_result = True)
def mytask (…):
noe()
Resultatene kan til og med deaktiveres globalt ved hjelp av innstillingen CELERY_IGNORE_RESULT.
Det sammen med Erics svar er sannsynligvis et absolutt minimum av beste fremgangsmåter for å administrere resultatbakgrunnen din.
Hvis du ikke trenger en resultatbackend, angir du CELERY_IGNORE_RESULT eller ikke angir en resultatbackend i det hele tatt. Hvis du trenger en resultatbackend, må du stille CELERY_AMQP_TASK_RESULT_EXPIRES for å beskyttes mot ubrukte resultater. Hvis du ikke trenger det for en bestemt app, angir du den lokale ignoreringen som ovenfor.
|
Ditt svar
StackExchange.ifUsing ("editor", function () {
StackExchange.using ("externalEditor", funksjon () {
StackExchange.using ("snippets", function () {
StackExchange.snippets.init ();
});
});
}, "kodebiter");
StackExchange.ready (funksjon () {
var channelOptions = {
tagger: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", funksjon () {
// Må utløse redaktøren etter utdrag, hvis utdrag er aktivert
hvis (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("snippets", function () {
createEditor ();
});
}
annet {
createEditor ();
}
});
funksjon createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: false,
hjerteslagType: 'svar',
autoActivateHeartbeat: false,
convertImagesToLinks: sant,
noModals: sant,
showLowRepImageUploadWarning: true,
reputToPostImages: 10,
bindNavPrevention: true,
postfix: "",
imageUploader: {
brandingHtml: "Drevet av \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.7256 4.916 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419C4.4.014.412 12.6 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.445.5 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evend = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913.566.461.56 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.125.126 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.63351724.124.17 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11.95129.66.280.16.280 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.62866 8.59806 4.8996.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 61.911.46 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.400291Z \ uB = c / a \ u003e ",
contentPolicyHtml: “Brukerbidrag lisensiert under \ u003ca href =” https: //stackoverflow.com/help/licensing “\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =” https://stackoverflow.com / legal / content-policy \ "\ u003e (policy for innhold) \ u003c / a \ u003e",
allowUrls: sant
},
onDemand: sant,
discardSelector: ".discard-answer"
, straksShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Takk for at du bidro med svaret på Stack Overflow!
Sørg for å svare på spørsmålet. Gi detaljer og del din forskning!
Men unngå ...
Be om hjelp, avklaring eller svare på andre svar.
Å komme med uttalelser basert på mening; Sikkerhetskopier dem med referanser eller personlig erfaring.
For å lære mer, se tipsene våre for å skrive gode svar.
Utkast lagret
Utkast kastet
Registrer deg eller logg inn
StackExchange.ready (funksjon () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Registrer deg ved hjelp av Google
Registrer deg ved hjelp av Facebook
Registrer deg ved hjelp av e-post og passord
Sende inn
Legg ut som gjest
Navn
E-post
Påkrevd, men aldri vist
StackExchange.ready (
funksjon () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-consuming-tons-of-cpu% 23new-answer', ' spørsmålsside ');
}
);
Legg ut som gjest
Navn
E-post
Påkrevd, men aldri vist
Legg ut svaret ditt
Kast
Ved å klikke på “Legg ut svaret ditt” godtar du våre vilkår for bruk, personvernregler og policy for informasjonskapsler
Er ikke svaret du leter etter? Bla gjennom andre spørsmål merket django rabbitmq selleri eller still ditt eget spørsmål.